Skill-3D: Evolving Scene-Aware Skills for Agentic 3D Spatial Reasoning
Skill-3D：面向智能体 3D 空间推理的自进化场景感知技能框架
🧭 多模态 Agent · 场景感知工具使用
Zhejiang University · University of Technology Sydney · OPPO Research Institute
通过场景记忆记录工具轨迹并蒸馏为可复用技能，配合失败教训，实现代理工具使用的自进化场景感知，大幅提升 3D 空间推理中工具利用率与任务成功率。
📌 工作参考价值（4 点）
- 场景感知的技能复用：在电商推荐或客服 Agent 中，可根据用户意图或商品类别动态选择调用不同的工具/模型（如价格比较、商品属性查询、3D 试穿引擎），将相似场景的成功交互轨迹蒸馏为预置技能，避免每次都从零规划，减少工具误用。
- 失败教训注入：在 Agent 记忆模块中不仅存储成功案例，还附加失败尝试的教训总结，当相似场景再现时一并注入提示，可有效降低重复错误。例如在导购对话中，对无效推荐策略自动标注并修正。
- 闭环自进化机制：技能库与记忆协同更新的循环，可借鉴到线上 Agent 的持续学习中，通过真实交互数据不断优化工具调用策略，但需注意安全防护和人工审核。
- 多任务异构适配：直接启示是避免对多场景使用统一固定流程，应根据场景特征分而治之。在 3D 商品展示、AR 试穿等应用中，可根据商品类别（鞋、家具）自动选择测量或渲染工具，提升效率。